多模式图像融合和对象检测对于自动驾驶至关重要。虽然当前的方法已提出纹理细节和语义信息的融合,但它们的复杂培训过程阻碍了更广泛的应用程序。提出了这一挑战,我们介绍了E2E-MFD,这是一种用于多模式融合检测的新型端到端算法。E2E-MFD简化了该过程,通过单个训练阶段实现了高性能。它在组件之间采用同步关节的选择,以避免与各个任务相关的次优溶液。此外,它在梯度矩阵中实现了共享参数的综合优化策略,从而确保收敛到最佳融合检测配置。我们在多个公共数据集上进行了广泛的测试揭示了E2E-MFD的出色功能,不仅展示了视觉上吸引人的图像融合,还展示了令人印象深刻的检测结果,例如3.9%和2.0%的MAP 50在水平对象检测数据集M3FD上增加了M3FD的增加和方向的对象检测数据集DataDaset Dataset Datectal Dronevehicle,相比之下。
主要关键词